AI Papers Daily

#RL Fine-tuning

3 篇

MentalThink: Shaping Thoughts in Mental SVG World

MentalThink：在心理SVG世界中塑造思维

🧭 多模态视觉推理 · SVG中间表示

Beijing University of Posts and Telecommunications · University of Chinese Academy of Sciences · StepFun

让多模态大模型生成并执行SVG代码作为中间视觉表示，实现可验证的空间推理。

📌 工作参考价值（4 点）

• 商品空间关系理解：用 SVG 生成商品轮廓与布局，辅助多模态模型理解复杂场景（如家具搭配、服装层次），提升搜索与推荐的准确性。
• Agent 多步规划：借鉴“心理图像”机制，在 Agent 执行动作前生成场景 SVG 草图，用于自我反思和步骤优化，提高任务成功率。
• 广告创意迭代：利用 SVG 的可编辑性，快速生成和调整广告图片的空间构图，结合 RL 迭代精炼，降低人工设计成本。
• 训练范式复用：SFT 对齐结构化语法 + 多轮 RL 迭代修正是可迁移的通用训练策略，适合需要精确控制输出格式（如图形代码）的生成式推荐场景。

Multimodal | 2026-07-02 | HF Daily | score 7/10

MLLMSVGVisual ReasoningSpatial UnderstandingRL Fine-tuning

Graph-Native Reinforcement Learning Enables Traceable Scientific Hypothesis Generation through Conceptual Recombination

图原生强化学习实现可追溯科学假设生成

🧭 图增强推理 · 强化学习微调

Massachusetts Institute of Technology · Washington University in St. Louis · Oak Ridge National Laboratory · Lawrence Berkeley National Laboratory

通过图结构与强化学习将推理显式阶段化，实现可解释、可追溯的多步假设生成

📌 工作参考价值（4 点）

• 将多步推理拆分为显式阶段（机制探索→图构建→模式提取→假设综合），每个阶段输出结构化中间结果，可直接用于构建推荐系统的可解释推理链路（如商品推荐理由追溯）。
• 用图结构链接概念实体，实现因果关系的构建与检查，可迁移到电商知识图谱推理、搜索查询扩展中的概念关联验证。
• 采用GRPO对分阶段输出进行奖励优化（例如，对图构建正确性、最终假设与中间步骤的一致性打分），能有效提升Agent链式思考的连贯性。
• 测试时图扩展（增加计算量）可以在不扩大语义空间的情况下提升长程概念重组的质量，这为生成式推荐的多样性-相关性平衡提供了新的控制思路。

Reasoning | 2026-06-30 | HF Daily | score 7/10

GRPOGraph ReasoningHypothesis GenerationTraceabilitySemantic DiversityRL Fine-tuning

NormGuard: Reward-Preserving Norm Constraints in Flow-Matching Reinforcement Learning

NormGuard：保留奖励的流匹配RL训练范数约束

🧭 流匹配RL训练的范数正则化

The Hong Kong University of Science and Technology · Kuaishou Technology · University of Chinese Academy of Sciences

RL微调会导致流模型速度范数膨胀损害质量，提出训练时hinge惩罚有效抑制并保持奖励

📌 工作参考价值（4 点）

• 在电商/推荐场景使用生成式模型（如流匹配生成item embedding或序列）进行RL微调时，可借鉴 NormGuard 监控并约束输出速度范数，防止过度偏离参考模型导致质量崩塌。
• 推理时归一化无效的结论提示：对于推荐系统的RL策略优化，单纯在推理阶段调整输出分布（如温度缩放）不足，需在训练时嵌入正则项。
• hinge 惩罚设计简洁，可与任何 velocity-local base loss 加性组合，易于迁移到现有 RL 训练管线中（例如 DPO、NFT 的推荐版本）。
• 范数膨胀作为质量退化的早期信号，可用于训练过程中实时监测，辅助自动早停或触发约束。

Training | 2026-06-25 | HF Daily | score 6/10

Flow MatchingRL Fine-tuningNorm RegularizationReward AlignmentImage Generation